用语言强化学习把通用用户偏好适配到具体任务以提升 LLM 个性化
🧭 LLM 个性化 · 偏好适配 · 语言强化学习 ★ 深度解读
Software College, Northeastern University, China · Ant International
从少量样例中归纳文本重写策略，将冗长通用偏好压缩为紧凑任务相关表示，模型冻结全适配
📌 工作参考价值（4 点）
- 用户画像的任务级精炼：在搜索、推荐、广告等系统中，用户长期画像往往噪音大且与当前场景无关。可参考 AlignXada 的做法，用一个冻结的 LLM 作为重写器，按照少量历史问答样例归纳出一条文本策略，自动把原始画像压缩为仅保留当前任务关键证据的紧凑文本，再输入下游排序/生成模型，既能节省 token 又能避免无关信号干扰。
- 语言强化学习调优提示或检索策略：Verbal RL 不更新任何模型参数，只迭代修改策略文本，非常适合黑盒 LLM API 场景。在推荐解释、对话式推荐等应用里，可以仿照此法用自然语言反馈优化系统提示、检索改写规则等，低成本迭代出更有效的模板。
- Agent 记忆的动态重组优于简单检索：实验表明 RAG（BM25 检索相关块）虽然也能压缩，但会破坏偏好的整体连贯性，导致性能下降。在构建智能体长期记忆时，应当考虑用重组而非仅检索的方式为不同下游任务生成任务特定的记忆视图，例如在购物助手、客服 agent 中根据意图从完整记忆生成精简版上下文。
- 自适应采样改善反馈质量：策略优化时从支持集合中按“改善/退化/持续成功/持续失败”四类状态均匀采样，可提供更平衡的诊断信号，该方法可直接用于推荐系统里用少量样例调优提示词时的样例选择过程，提升策略的泛化性和稳定性。
CoPersona：基于协作人格图的鲁棒 LLM 个性化
🧭 LLM 个性化 · 图协作消偏 · 多面建模 ★ 深度解读
Yale University · Samsung
通过构建多面相似度图来借力行为相似的同伴，缓解因用户历史稀疏与偏斜导致的个性化生成冷启动
📌 工作参考价值（4 点）
- 面对用户历史稀疏的场景：可用协同的思路，从行为相似的同伴那里“借”信号补全用户的弱项维度，而不是仅在自身上检索。
- Facet 解耦与多面图构建：先无监督地归纳出全局人格面（如评论中的 tone、主题偏好、价值观），再按面分别建相似度图，可避免全局相似度带来的噪声。该思路可直接用于品评文案生成、商品推荐理由个性化等任务，按“写作风格”“价格敏感度”等维度对用户分层。
- 双分支推理架构：非参分支提供可解释的文本范例，供 LLM 作为上下文；参数分支通过可靠性门控在图上游走补全弱置信度面的向量，再压缩成软提示 token 注入 LLM，两者互补。实际工程中可按资源拆解：低成本场景只用检索范例，高成本场景加训软提示。
- 可靠性标签与门控：为每个用户每面的摘要打分（none/weak/moderate/strong），在图传递时根据可靠性加权，避免低质量信息污染。类似地，在 Agent 协作中可按证据强度对同伴信号加权，降低幻觉。
TAP-PER：用紧凑前缀替代冗长提示，实现可扩展的大模型个性化
🧭 LLM 个性化 · 用户嵌入 · 前缀微调 ★ 深度解读
Microsoft · Shanghai International Studies University · Zhejiang University · The Hong Kong Polytechnic University
用可学习的紧凑用户前缀替换显式提示和每用户适配器，实现可扩展、时序感知的 LLM 个性化。
📌 工作参考价值（4 点）
- 用户状态前缀可作为长期兴趣嵌入：在电商推荐或对话系统中，可以为每个用户维护一个轻量级嵌入（仅32K参数），离线训练后在线快速适应，大幅降低存储与部署成本。
- 查询感知的时序记录前缀替代显式检索：借鉴DIN式注意力和可学习的时间衰减，直接对用户全量交互历史进行加权，省去BM25等检索器，避免检索质量对个性化效果的波动，适合行为序列丰富的场景。
- 共享桥接LoRA降低参数冗余：冻结任务适配后的骨干LLM，仅训练一个共享的LoRA模块来深度融合前缀信号，避免为每个用户单独维护一个大尺寸适配器，千级用户时总参数量仅为传统方法的约一半。
- 支持在线增量更新不停服：新反馈到来时，只需对用户前缀做几次梯度更新即可吸收偏好变化，共享模块不动，便于在电商流式场景中实现持续个性化，无需全量重训。